기업용 에이전트 AI 환경 구축을 위한 실무 가이드
인텔이 수천 회의 워크로드 실험을 통해 기업용 에이전트 AI(Agentic AI) 환경 구축을 위한 핵심 인사이트를 제시합니다. 에이전트 AI는 단순한 LLM 추론을 넘어 시스템 전체의 문제이므로, CPU 밀도(agent density)와 작업 지연 시간(latency) 등 실질적인 성능 지표를 중심으로 용량을 계획하고 확장해야 합니다.
인텔이 수천 회의 워크로드 실험을 통해 기업용 에이전트 AI(Agentic AI) 환경 구축을 위한 핵심 인사이트를 제시합니다. 에이전트 AI는 단순한 LLM 추론을 넘어 시스템 전체의 문제이므로, CPU 밀도(agent density)와 작업 지연 시간(latency) 등 실질적인 성능 지표를 중심으로 용량을 계획하고 확장해야 합니다.
미국의 엔터프라이즈 소프트웨어 기업 서비스나우(ServiceNow)가 인도의 은행 소프트웨어 전문 기업 비즈니스넥스트(BusinessNext)에 4천만 달러(약 5% 지분)를 투자했습니다. 이번 투자는 서비스나우가 금융권 AI 솔루션 시장 공략을 강화하고, 양사가 각각 강점을 가진 프론트오피스와 백오피스 솔루션을 결합해 시너지를 내기 위한 전략적 파트너십입니다. 특히 기존 SaaS 모델이 한계에 직면한 상황에서, AI 네이티브 기반의 금융 자동화 소프트웨어로 경쟁력을 확보하려는 업계의 중요한 움직임으로 평가됩니다.
최근 조사에 따르면 기업 107곳 중 절반 이상이 자율형 AI 에이전트(Agent) 도중 보안 사고를 겪었거나 직면한 바 있습니다. 가장 큰 구조적 취약점은 대부분의 에이전트가 전용 보안 ID(Identity) 없이 자격증명을 공유한다는 점이며, 고위험 에이전트를 샌드박스(Sandbox)로 격리하는 기업도 30%에 불과했습니다. 이는 AI 에이전트의 도입 속도가 이를 통제할 보안 시스템의 성장 속도를 훨씬 앞지르고 있음을 보여주는 중요한 지표입니다.
최근 조사에 따르면, 기업들의 AI 인프라 투자는 효율을 통제하고 측정할 수 있는 능력을 훨씬 앞지르고 있습니다. 현재 대부분의 기업이 GPU 활용도를 절반 이하로 방치하고 있음에도 불구하고, 향후 AI 특화 클라우드 등 새로운 인프라로의 빠른 전환을 계획하고 있습니다. 실무자들은 단순히 API 단가가 아닌 기존 시스템과의 통합성과 총소유비용(TCO)을 기준으로 의사결정을 내려야 할 때입니다.
Traceforce는 ChatGPT, Claude 같은 생성형 AI 앱과 에이전트가 기업 내 기기에서 어떻게 작동하는지 실시간으로 모니터링하고 통제하는 보안 솔루션입니다. AI 모델이 사내 데이터와 연결되는 구간(MCP)의 취약점을 추적하고 사전에 보안 위협을 차단할 수 있어, AI 도입 속도를 저하하지 않으면서도 기업의 보안 통제력을 확보해야 하는 IT 실무자에게 유용합니다.
최근 조사에 따르면 기업들은 AI 에이전트의 자율성은 확대하고 있지만, 이를 통제할 평가 시스템에 대한 신뢰는 매우 낮은 상태입니다. 내부 테스트를 통과했음에도 실 서비스에서 잦은 오류가 발생함에도 불구하고, 인간의 개입 없이 자동화된 평가만으로 에이전트를 배포하려는 움직임이 가속화되고 있어 위험한 '평가 격차(Evaluation gap)'가 발생하고 있습니다. 이는 기업이 자율성에 걸맞은 안전장치와 검증 기술을 제대로 갖추지 못한 상태에서 무리하게 AI를 도입하고 있음을 시사합니다.
전 오픈AI CTO 미라 무라티가 설립한 씽킹 머신 랩(Thinking Machines Lab)이 첫 오픈 웨이트(Open-weight) 기반 AI 모델인 '잉클링(Inkling)'을 공개했습니다. 이 모델은 단순히 성능을 경쟁하기보다 기업이 자체적으로 맞춤화하여 사용하는 데 초점을 맞추고 있으며, 범용 AI 모델보다 맞춤형 모델이 더 높은 가치를 창출한다는 업계의 흐름을 강력하게 지지합니다. 기업들은 이 모델을 시작점 삼아 자사의 데이터와 전문성을 결합해 비용과 효율성을 모두 잡는 최적화된 AI를 구축할 수 있습니다.
소수의 엔지니어가 대규모 컨설팅 팀을 대체할 수 있다는信念 아래, Anthropic과 글로벌 금융 투자자들이 지원하는 합작회사 Ode가 탄생했습니다. 이들은 기업 내부에 전담 엔지니어를 상주시켜 파일럿 단계에 머무르는 AI 도입을 실제 프로덕션 환경으로 끌어올리고자 하며, AI 기반 서비스가 기업 IT의 핵심 생태계로 자리 잡을 것으로 전망합니다.
허깅페이스 CEO 클렘 델랑그는 포춘 500대 기업 중 절반이 오픈소스를 사용하며, 기업들이 규모를 키울 때 폐쇄형 API의 높은 비용 때문에 오픈소스로 전환한다고 밝혔다. 그는 소수 빅테크가 AI를 독점할 위험성을 경고하며 오픈소스의 중요성을 강조했다.
최근 AI 시장에서 가벼운 오픈소스 모델의 사용량이 급증하고 있지만, Anthropic과 같은 고가의 프론티어 모델 매출은 크게 하락하지 않고 있습니다. 이는 새로운 AI 활용 사례를 탐색 및 검증하는 단계에서는 비싼 최고급 모델이 사용되고, 성숙기에 접어들면 저렴한 오픈소스로 전환되는 'AI 라이프사이클' 모델이 자리 잡고 있기 때문으로 분석됩니다.
기업이 AI를 성공적으로 확장하려면 모델 그 자체보다 기반 데이터 아키텍처가 훨씬 더 중요합니다. 조직 전체의 데이터를 정제하고, 맞춤형 컨텍스트를 제공하며, 초기부터 체계적인 거버넌스와 모니터링을 구축해야만 환각 현상을 줄이고 안정적인 에이전트 시스템을 구축할 수 있습니다. 이를 통해 기업은 실패 확률을 낮추고 실질적인 비즈니스 가치를 창출할 수 있습니다.
기업 내 AI 도입이 급증하면서 비용이 통제 불능 상태에 이르러, 주요 기업들이 직원들의 AI 사용을 제한하고 있습니다. 특히 고성능 모델의 접근을 차단하거나 저성능 모델을 사용하도록 유도하는 등, AI 사용량 기반 과금 모델이 기업 실무에 미치는 영향이 본격화되고 있습니다.
인도의 연쇄 창업자 바빈 투라키아는 기존 사무 소프트웨어와는 차원이 다른 근본적인 AI 혁신을 위해 개인 자금 3천만 달러를 투자해 '네오(Neo)'를 출시했습니다. 네오는 프로젝트 관리, 문서, 파일 저장 기능에 AI를 깊게 통합하여 단순한 보조 도구가 아닌 능동적인 업무 파트너 역할을 하도록 처음부터 새롭게 설계된 플랫폼입니다. 생성형 AI를 활용해 단 3개월 만에 초기 버전을 구축했으며, 향후 글로벌 기업용 AI 시장의 강력한 대안으로 자리 잡을 계획입니다.
인도의 고객 참여 소프트웨어 기업 모엔게이지(MoEngage)가 샌프란시스코 소재 AI 스타트업 암페(Aampe)를 인수하며 AI 에이전트 중심의 마케팅 전환에 나섰습니다. 이번 인수를 통해 개별 고객의 행동에 맞춘 개인화된 자율적 의사결정 에이전트를 제공하여, 세일즈포스 및 어도비 등 경쟁사 고객을 공략할 계획입니다.
안스로픽(Anthropic)은 슬랙(Slack) 내에서 언제든 태그해 업무를 맡기고 소통할 수 있는 상주형 AI 동료 기능인 '클로드 태그(Claude Tag)'를 리서치 프리뷰(연구 미리보기)로 도입했습니다. 이 기능은 조직 내 채널 활동을 지속적으로 학습해 업무 맥락을 파악하고, 누구나 이전 대화와 작업 내용을 이어받아 협업할 수 있게 해 주어 기업의 업무 효율을 크게 높여줍니다.
AI 스타트업 프라마나 랩스(Pramaana Labs)가 대형 언어 모델(LLM)의 오류와 환각을 잡기 위해 수학적 '형식 검증(Formal verification)'을 도입합니다. 이를 통해 법률, 세무, 신약 개발 등 오류가 치명적인 분야에서 기업들이 안전하게 AI를 활용할 수 있도록 돕고자 합니다.
IBM은 F1 역대 최다 우승팀인 스쿠데리아 페라리와 파트너십을 맺고, 생성형 AI 기반의 '스토리텔링'을 통해 팬 참여를 극대화하고 있습니다. 페라리 팬 앱을 전면 개편하여 AI 경기 요약, 예측 게임, 대화형 AI 도우미 등을 도입한 결과, 레이스 주말 팬 참여도가 62%나 증가했습니다. 이는 기업이 엔터프라인즈 AI를 활용해 방대한 데이터를 소비자 친화적 콘텐츠로 전환하고 개인화된 경험을 제공하는 방법을 보여주는 중요한 사례입니다.
글로벌 기업 환경에 도입되기 시작한 에이전틱 AI(Agentic AI) 플랫폼들의 주요 기능과 장점을 분석한 리뷰입니다. 기업의 실무적인 업무 프로세스 자동화와 생산성 극대화를 위해 이러한 자율적 AI 플랫폼을 도입하고 평가하는 것이 매우 중요해지고 있습니다.
현재 주요 AI 기업들은 시장 점유율 확대를 위해 실제 서비스 원가보다 훨씬 낮은 가격에 엔터프라이즈 AI를 제공하며 막대한 손실을 감당하고 있습니다. 기업들은 저렴한 비용을 당연시하며 업무 프로세스와 비즈니스를 AI에 의존하고 있지만, 가격이 현실화되는 시점에 기하급수적인 비용 폭탄을 마주하게 될 위험이 있습니다. CTO와 CFO 등 실무 의사결정권자들은 AI 도입에 따른 잠재적 단가 상승 리스크를 즉각적으로 재평가해야 합니다.
금융 데이터 플랫폼 케플러(Kepler)는 앤스로픽의 AI 모델 '클로드(Claude)'를 활용해 출처가 투명하게 검증되는 금융 AI 시스템을 구축했습니다. 이들은 2,600만 건 이상의 금융 데이터를 분석하여 수치의 오류를 원문 라인 단위로 추적할 수 있는 인프라를 만들었으며, 특히 복잡한 금융 분석에서 다른 모델들이 중간에 논리를 잃는 현상을 클로드를 통해 방지했습니다. 이는 규제가 엄격해 AI 활용에 신뢰가 필수적인 금융 산업에 투명성과 실무적 정확성을 제공한다는 점에서 중요합니다.
기업들이 본격적인 AI 도입을 시도하면서 직면한 가장 큰 과제는 '파편화된 데이터 인프라'입니다. 성공적인 엔터프라이즈 AI 구축을 위해서는 분절된 시스템을 벗어나 통합되고 엄격하게 관리되는 개방형 데이터 기반을 마련해야 합니다. 궁극적으로 기업은 AI를 단순한 혁신 프로젝트가 아닌 핵심 비즈니스 지표와 직결된 전략적 자산으로 활용해야 합니다.
기업용 지식 관리 시스템이 60년간 실패해 온 핵심 원인은 기술적 한계가 아니라 위험을 회피하며 '친숙함(유명 대기업)'을 우선하는 구매자의 잘못된 선택 기준에 있습니다. 혁신적인 스타트업의 완성된 AI 솔루션보다 거대 컨설팅 회사의 검증되지 않은 구축 제안이 채택되는 기업의 보수적인 구매 문제를 날카롭게 지적합니다. 조직 내 실질적인 AI 도입과 데이터 자산의 가치 실현을 위해, 이러한 산업의 고질적인 병폐를 극복하고 혁신을 멈추지 말아야 한다는 점에서 중요한 글입니다.
AI 에이전트가 기업 내에 빠르게 도입되면서 새로운 보안 위협이 대두되고 있어, 이를 통제할 강력한 거버넌스와 보안 기반 구축이 시급합니다. 보고서에 따르면 74%의 기업이 2년 내 에이전틱 AI를 도입할 계획이지만, 단 21%만이 성숙한 거버넌스 체계를 갖추고 있어 위험 노출 가능성이 큽니다. 안전한 엔터프라이즈 자동화를 위해서는 전사적 통제 평면(control plane)을 마련해 에이전트의 권한, 정책, 데이터 접근을 체계적으로 관리해야 합니다.